查看原文
其他

二次元捏老婆神器?

CG世界 2022-05-24

点击上方蓝字CG世界关注我们

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”
中国很有影响力影视特效CG动画领域自媒体


还记得我们在前段时间分享的一篇关于我们的数字人的文章中,在末尾提到的这款即将发布的基于SofGAN的二次元捏脸APP吗?



就在这几天,这款名叫Wand的软件终于正式在App Store限时免费上架了,自称“老婆生成器”的它基于上海科技大学ACM Transactions on Graphics 2021成果实现,由影眸科技与叠镜数字联合开发,是一个“打造专属形象,人工智能拯救手残”的二次元捏脸神器,甚至还登上了App Store图形和设计类排行榜的第一名:



相信喜欢二次元的家人们一定都会非常感兴趣,毕竟通过它能捏个属于自己的二次元头像。不过目前这款软件只支持在苹果手机和iPad上使用,安卓用户们如果想要试试看的话可能还需要再等等。我已经下载下来试了一会了,所以接下来就先由我们带大家简单的认识一下这款你只需要简单的涂涂抹抹,就能通过AI生成脸部的神器吧。


先上一支由推特上的一名日本3D艺术家Hirokazu Yokohara分享的自己操作这个软件的视频,目前已经有了74.5万的播放量:



根据大佬的描述可以得知,只要通过粗略地绘制,就可以生成一个插图。但是如果你画得不好,最终只会得到一张糟糕的图画。好了,下面就开始吧。


打开以后的界面是这个样子的:



可以看到上面加载页面,视图页面和操作页面,下面还细致的分为了帽子、眉毛、头发、嘴巴等多个可以分别编辑的地方,点击风格按钮的话,还可以切换不同的风格,轻轻松松得到不同的女老婆,如果愿意的话,男老婆也是可以的哈哈哈哈,just like:





当然你还可以通过风格旁边的两个按钮,实时拍一张自己的脸或者其他人的脸,或者也可以上传一张现成的照片或者图片,然后就会自动生成一张图像,供你继续编辑和调整。我们还可以看到最下面的锁形标志旁边有三个不同的图案,跟上面一样,我觉得应该就是不同的风格,点开以后分别是下面这样的效果,至于锁的图案究竟代表了什么,你们懂的:



通过风格旁边的Anime按钮,你还可以切换到Realistic,从而生成对应的三次元形象:



然后就可以得到下面的这些风格…高能预警!前方大量阴间图片出没:





啊这这这,作品可以接地气,但不要接地府啊喂!这不是三次元,这得是异次元了,不过有一说一,变成这样子应该是我个人的问题,我承认自己确实还没有搞懂这个软件究竟该怎么玩。但是如果是由有绘画功底的大大们来操作的话,肯定就会不一样了,特别提醒,在iPad上操作比手机操作会更加方便。下面就来给大家看看这个软件的正确打开方式吧,先来看看官方的操作:


前几天在七夕的时候,Wand研发组和微博用户游戏动力联合推出了一个名叫“七夕大作战”的特别活动,只要在分享自己使用这款软件制作的作品时带上#WAND#的Tag,就可以参加这个活动了,奖品也是相当的丰厚,ipad Air、Switch什么的,我看看是馋死谁了,哦,原来是我自己,不过我这种手残党就不出来丢人现眼了,还是给大家分享一些我觉得还不错的作品吧(来源请见水印!):



























下面再分享一波当代毕加索们的作品,我相信大家一定已经尽力了:















救命…真的是人类大型征服Wand失败现场,不过开发团队已经在努力完善和开发中了,相信马上就会有对手残党更友好的版本出现。

看了这么多图片了,我们来说点别的吧。在文章刚开始的时候我们提到,这款软件是基于上海科技大学ACM Transactions on Graphics 2021成果实现的,论文项目主页在此:

https://apchenstu.github.io/sofgan/

以下内容来自于论文:

SofGAN是一款具有动态样式的人像图像生成器。最近,GAN已被广泛用于人像图像生成。然而,在GAN学习的潜在空间中,姿势、形状和纹理样式等不同属性通常是纠缠在一起的,这使得对特定属性的显式控制变得困难。为了解决这个问题,团队提出了一个SofGAN图像生成器,将人像的潜在空间解耦为两个子空间:几何空间和纹理空间。从两个子空间采样的潜在代码分别馈送到两个网络分支,一个生成具有规范姿势的肖像的3D几何图形,另一个生成纹理。对齐的3D几何还带有语义部分分割,编码为语义占用字段 (SOF). SOF允许在任意视图上渲染一致的2D语义分割图,然后将其与生成的纹理图融合并使用团队的语义实例(SIW)模块将其风格化为肖像照片。通过大量实验,团队表明他们的系统可以生成具有独立可控几何和纹理属性的高质量肖像图像。该方法还可以很好地推广到各种应用中,例如外观一致的面部动画和动态造型。



第一行:团队的解耦表示允许显式控制姿势、形状和纹理样式。从源图像开始,团队明确地改变了它的头部姿势(第二张图像)、面部/头发轮廓(第三张图像)和纹理样式。
第二行:从不完整的segmap生成交互式图像。团队允许用户逐渐将部分添加到segmap并即时生成彩色图像。


制作团队的SIW-StyleGAN的关键特性之一是语义级别的样式控制。受益于StyleConv块和风格混合训练策略,可以单独控制每个语义区域的风格。


区域风格调整


风格转移


在团队的生成框架下,可以通过改变相机姿势从几何样本或真实图像中生成自由视点人像图像。团队的SOF使用多视图语义分割图进行训练,视图之间的几何投影约束在SOF中编码,这使他们的方法在改变视点时保持形状和表达一致。




自由视点渲染和形状变形

团队从互联网上收集视频剪辑,并使用预先训练的面部解析器为每一帧生成分割图。他们的方法可以在没有任何时间正则化的情况下保持各种姿势和表情的纹理样式和形状一致性。

动画视频序列‍

团队的方法允许用户逐渐将部分添加到segmap并即时生成彩色图像。

从绘图生成

最后一个则就是我们今天为大家介绍的Wand啦。好了,今天的内容就是以上这些,有条件的话可以去试试这款软件~

—全文完—

樱木花道变成真人原来这样!她用AI还原了名画,动漫,历史中的角色


就爱看这种CG小姐姐作品,不为别的,只为提高审美!


一键展UV神器,自动处理接缝!这款老牌展UV插件发布4版本,自动展UV更强悍!


他横跨影视游戏,参与多部大片!娴熟的3D+2D技艺把概念设计玩到极致


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存